CompRank: Efficient LLM Reranking via Token-Level Compression and Decoding-Free Scoring
CompRank：通过Token级压缩与免解码评分的LLM高效重排序
🧭 LLM高效重排序 ★ 深度解读
Shanghai Jiao Tong University · Eastern Institute of Technology (Ningbo) · University of British Columbia · University of Waterloo
提出CompRank，通过文档表示解耦、分段式token压缩和CopyNet式监督，仅保留10.2%文档token即接近全量重排序性能，并实现显著加速。
📌 工作参考价值（4 点）
- 用稀疏注意力代替全量文档token：在重排序时，仅保留文档中10%的token（如每10个取1个）即可保持性能，大幅降低交互成本。电商搜索/推荐中候选列表长，可直接应用此分段式压缩策略减少LLM重排序延迟。
- 免解码式评分避免生成错误：训练时用CopyNet直接优化注意力得分，推理时无需自回归生成ID，消除生成重复或超范围ID的问题。在推荐系统中，当候选集大小变化时，该方法比生成ID法更稳健，避免了分布偏移带来的解码失败。
- 文档表示解耦实现可复用KV缓存：将文档块与查询解耦，文档侧KV状态可预先计算并缓存，特别适合反复检索相同文档的Agent或RAG场景。在电商多轮对话或商品复筛流程中，可离线预计算商品表示，在线仅需处理查询侧计算，大幅降低在线延迟。
- 训练与推理一致的注意力对齐目标：使用CopyNet指针分布监督文档级得分，使训练直接服务于排序目标，优于SFT式的逐token生成。在建模用户与物品的相关性分数时，可直接采用类似pointer机制，让模型聚焦于候选集分布而非整个词表。